Sau trận Điện Biên Phủ, ông được đề bạt giữ chức Đại đoàn phó kiêm tham mưu trưởng Đại đoàn 312. Cuối năm 1954, ông được cử giữ chức Đại đoàn trưởng kiêm Chính ủy thay cho ông Lê Trọng Tấn và Trần Độ. Sau 1954, Đại đoàn được cải tổ phiên chế thành Sư đoàn 312 và ông trở thành Sư đoàn trưởng. Năm 1960, ông được phong hàm Đại tá.

Năm 1964, ông được cử vào Nam, nhận chức vụ Sư đoàn trưởng Sư đoàn 9, sư đoàn chủ lực của Quân Giải phóng. Sau đó, ông được cử giữ chức Phó tư lệnh kiêm tham mưu trưởng Quân Giải phóng, dưới quyền Trung tướng Tư lệnh Trần Văn Trà. Ông làm chỉ huy ở bộ tư lệnh Miền suốt thời gian lực lượng bộ đội chủ lực Miền đóng ở Nam bộ, rồi Campuchia, tham gia chiến dịch Nguyễn Huệ năm 1972. Ngày 20 tháng 7 năm 1974, Quân đoàn 4 (còn gọi là Binh đoàn Cửu Long) được thành lập trên cơ sở của Đoàn 301, ông được cử làm tư lệnh. Ông là người chỉ huy quân đoàn này đánh vào Xuân Lộc, khai thông con đường phía đông cho quân đoàn 2 tiến vào.